CN105847378A - 一种实现大数据同步的方法和系统 - Google Patents

一种实现大数据同步的方法和系统 Download PDF

Info

Publication number
CN105847378A
CN105847378A CN201610228344.7A CN201610228344A CN105847378A CN 105847378 A CN105847378 A CN 105847378A CN 201610228344 A CN201610228344 A CN 201610228344A CN 105847378 A CN105847378 A CN 105847378A
Authority
CN
China
Prior art keywords
data
file
oracle database
field
data file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610228344.7A
Other languages
English (en)
Other versions
CN105847378B (zh
Inventor
闫浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201610228344.7A priority Critical patent/CN105847378B/zh
Publication of CN105847378A publication Critical patent/CN105847378A/zh
Application granted granted Critical
Publication of CN105847378B publication Critical patent/CN105847378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种实现大数据同步的方法和系统。其中方法包括步骤S1，Oracle数据库将需要同步数据的表的表名以及表中的字段名列发送给Hadoop集群；步骤S2，Hadoop集群根据接收到的表名和字段名列生成同步表，并根据同步表加载需要同步的数据至同步表中，生成数据文件，并将所述数据文件导出到与所述Oracle数据库对应的服务器上；步骤S3，Oracle数据库将服务器上数据文件中的数据加载至Oracle数据库。本发明以配置方式实现数据库与Hadoop数据的同步，只要配置表名到数据库中，被配置的表即可实现同步，相比于现有技术，能够降低新增脚本、测试上线等工作量，不需要每次新增同步程序，效率高，成本低，并且能够降低因测试不到位等情况引起的风险。

Description

一种实现大数据同步的方法和系统
技术领域
本发明涉及数据同步领域，尤其涉及一种实现大数据同步的方法和系统。
背景技术
为了配合实现云化，数据库由一个拆分为了多个，数据库之间的数据量很大时，使用实时接口交互起来会有瓶颈，比如接口握手时间有限制，当数据还没有同步完成时，服务已经超时，因此针对大数据并且实时性低的数据，同步采用提前同步的处理方法，这就涉及到了数据同步问题。同步的大数据信息统一放在hadoop集群上，各个系统再从集群上取数据到本地来实现大数据同步。这样便增加了一份数据同步工作，每增加一个表同步就需要新增一个同步脚本，还需要进行测试、上线等工作。增加了很多不必要的工作量和不应有的风险。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种实现大数据同步的方法和系统。
本发明解决上述技术问题的技术方案如下：一种实现大数据同步的方法，包括如下步骤：
步骤S1，Oracle数据库将需要同步数据的表的表名以及表中的字段名列发送给Hadoop集群；
步骤S2，Hadoop集群根据接收到的表名和字段名列生成同步表，并根据所述同步表加载需要同步的数据至所述同步表中，生成数据文件，并将所述数据文件导出到与所述Oracle数据库对应的服务器上；
步骤S3，Oracle数据库将服务器上所述数据文件中的数据加载至Oracle数据库。
本发明的有益效果是：本发明以配置方式实现数据库与Hadoop数据的同步，只要配置表名到数据库中，被配置的表即可实现同步，相比于现有技术，能够降低新增脚本、测试上线等工作量，不需要每次新增同步程序，效率高，成本低，并且能够降低因测试不到位等情况引起的风险。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步地，步骤S1包括如下步骤：
步骤S11，Oracle数据库确定需要同步数据的表的表名；
步骤S12，根据表名从Oracle数据库中的表字段存放表中获取需要同步数据的表中的字段名列；
步骤S13，Oracle数据库将表名和字段名列发送给Hadoop集群。
采用上述进一步方案的有益效果是：字段名列从Oracle数据库中的表字段存放表中获取，这样当表结构发生变化后也不需要修改脚本，表变，同步的字段也会变。
进一步地，步骤S2中将所述数据文件导出到与所述Oracle数据库对应的服务器上的具体实现为：
使用hive-e或hive-s-e命令将所述数据文件导出到与所述Oracle数据库对应的服务器上。
采用上述进一步方案的有益效果是：导出数据到服务器的时候，使用hive-e命令时，Hadoop处理过程可以显示在终端的显示器上，使用hive-s-e命令时，Hadoop的有一些处理过程就不会显示在终端的显示器上了，具体来讲就是少了一些打印的日志。
进一步地，步骤S3包括如下步骤：
步骤S31，Oracle数据库生成加载数据文件用的ctl文件；
步骤S32，根据数据文件和ctl文件，使用sqlldr将数据文件中的数据加载至Oracle数据库。
采用上述进一步方案的有益效果是：使用sqlldr加载数据，稳定且效率高。
进一步地，所述ctl文件根据表名使用的字段生成。
本发明解决上述技术问题的另一种技术方案如下：一种实现大数据同步的系统，其特征在于，包括Oracle数据库和Hadoop集群，其中Oracle数据库包括表名和字段名列发送模块和数据加载模块，Hadoop集群包括数据文件生成模块；
所述表名和字段名列发送模块，用于将需要同步数据的表的表名以及表中的字段名列发送给Hadoop集群中的所述数据文件生成模块；
所述数据文件生成模块，用于根据接收到的表名和字段名列生成同步表，并根据所述同步表加载需要同步的数据至所述同步表中，生成数据文件，并将所述数据文件导出到与所述Oracle数据库对应的服务器上；
所述数据加载模块，用于将服务器上所述数据文件中的数据加载至Oracle数据库。
本发明的有益效果是：本发明以配置方式实现数据库与Hadoop数据的同步，只要配置表名到数据库中，被配置的表即可实现同步，相比于现有技术，能够降低新增脚本、测试上线等工作量，不需要每次新增同步程序，效率高，成本低，并且能够降低因测试不到位等情况引起的风险。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步地，所述表名和字段名列发送模块包括表名确定单元、字段名列获取单元和发送单元；
所述表名确定单元，用于确定需要同步数据的表的表名；
所述字段名列获取单元，用于根据表名从Oracle数据库中的表字段存放表中获取需要同步数据的表中的字段名列；
所述发送单元，用于将表名和字段名列发送给Hadoop集群中的所述数据文件生成模块。
采用上述进一步方案的有益效果是：字段名列从Oracle数据库中的表字段存放表中获取，这样当表结构发生变化后也不需要修改脚本，表变，同步的字段也会变。
进一步地，所述数据文件生成模块中将所述数据文件导出到与所述Oracle数据库对应的服务器上的具体实现为：
使用hive-e或hive-s-e命令将所述数据文件导出到与所述Oracle数据库对应的服务器上。
采用上述进一步方案的有益效果是：导出数据到服务器的时候，使用hive-e命令时，Hadoop处理过程可以显示在终端的显示器上，使用hive-s-e命令时，Hadoop的有一些处理过程就不会显示在终端的显示器上了，具体来讲就是少了一些打印的日志。
进一步地，所述数据加载模块包括ctl文件生成单元和数据加载单元；
所述ctl文件生成单元，用于生成加载数据文件用的ctl文件；
所述数据加载单元，用于根据数据文件和ctl文件，使用sqlldr将数据文件中的数据加载至Oracle数据库。
采用上述进一步方案的有益效果是：使用sqlldr加载数据，稳定且效率高。
进一步地，所述ctl文件根据表名使用的字段生成。
附图说明
图1为本发明所述实现大数据同步的方法流程图；
图2为本发明所述实现大数据同步的系统结构图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明所述实现大数据同步的方法流程图。
如图1所示，一种实现大数据同步的方法，包括如下步骤：
步骤S1，Oracle数据库将需要同步数据的表的表名以及表中的字段名列发送给Hadoop集群。
其中步骤S1包括如下步骤：
步骤S11，Oracle数据库确定需要同步数据的表的表名。
在本发明的具体实施例中，由于非全部的表同步，因此只需要抽取需要同步数据的表即可，而需要同步数据的表则根据业务逻辑需要确定。
步骤S12，根据表名从Oracle数据库中的表字段存放表中获取需要同步数据的表中的字段名列。
在本发明的具体实施例中，字段名列从Oracle数据库中的表字段存放表(all_tab_columns)中获取，这样当表结构发生变化后也不需要修改脚本，表变，同步的字段也会变。
步骤S13，Oracle数据库将表名和字段名列发送给Hadoop集群。
步骤S2，Hadoop集群根据接收到的表名和字段名列生成同步表，并根据所述同步表加载需要同步的数据至所述同步表中，生成数据文件，并将所述数据文件导出到与Oracle数据库对应的服务器上。
在本发明的具体实施例中，步骤S2中将所述数据文件导出到与Oracle数据库对应的服务器上的具体实现为：使用hive-e或hive-s-e命令将所述数据文件导出到与Oracle数据库对应的服务器上，导出数据到服务器的时候，使用hive-e命令时，Hadoop处理过程会显示在终端的显示器上，使用hive-s-e命令时，Hadoop的有一些处理过程就不会显示在终端的显示器上了，具体来讲就是少了一些打印的日志。并且，Hadoop利用“大数据”技术存储同步数据，将同步数据放到归属域下，在处理大数据方面效率比原先提高了很多倍。
步骤S3，Oracle数据库将服务器上所述数据文件中的数据加载至Oracle数据库。
其中步骤S3包括如下步骤：
步骤S31，Oracle数据库生成加载数据文件用的ctl文件。
本发明的具体实施例中，ctl文件根据表名使用的字段生成，当中有date类型的字段等情况统一做了类型转换处理，有空格的统一去空格或者制表符。
现有技术中每次修改表结构都需要修改ctl文件，使用本发明则可省略这步操作，只要表名不变，表结构修改之后也不用修改程序。
步骤S32，根据数据文件和ctl文件，使用sqlldr将数据文件中的数据加载至Oracle数据库。
sqlldr也就是SQL*LOADER，它是oracle的高速批量数据加载工具，可以将外部文件的数据导入到oracle的数据库中。在本发明的具体实施例中，使用sqlldr加载数据，稳定且效率高，并且能够实现新增一个表名就达到数据同步的目的。并且可以新建一个表，将数据加载的使用时长、是否加载等信息会统一放进去，用于观察数据加载情况。
本发明以配置方式实现数据库与Hadoop数据的同步，只要配置表名到数据库中，被配置的表即可实现同步，相比于现有技术，能够降低新增脚本、测试上线等工作量，不需要每次新增同步程序，效率高，成本低，并且能够降低因测试不到位等情况引起的风险。
本发明适用于对实时性要求不高的系统，例如数据每天凌晨进行同步，会有一天的延时，所以需要保证数据没有太高的同步要求，可延迟一天，并且要保证数据库字段和Hadoop中存储的字段一样。在具体实施例中，本发明可适用于在Unix环境下，获取大数据信息生成文件。
图2为本发明所述实现大数据同步的系统结构图。
如图2所示，一种实现大数据同步的系统，利用上述方法实现，包括Oracle数据库和Hadoop集群，其中Oracle数据库包括表名和字段名列发送模块和数据加载模块，Hadoop集群包括数据文件生成模块。
表名和字段名列发送模块，用于将需要同步数据的表的表名以及表中的字段名列发送给Hadoop集群中的所述数据文件生成模块；表名和字段名列发送模块包括表名确定单元、字段名列获取单元和发送单元；表名确定单元，用于确定需要同步数据的表的表名；字段名列获取单元，用于根据表名从Oracle数据库中的表字段存放表中获取需要同步数据的表中的字段名列；发送单元，用于将表名和字段名列发送给Hadoop集群中的所述数据文件生成模块。
数据文件生成模块，用于根据接收到的表名和字段名列生成同步表，并根据所述同步表加载需要同步的数据至所述同步表中，生成数据文件，并将所述数据文件导出到与Oracle数据库对应的服务器上；数据文件生成模块中将所述数据文件导出到与Oracle数据库对应的服务器上的具体实现为：使用hive-e或hive-s-e命令将所述数据文件导出到与Oracle数据库对应的服务器上。
数据加载模块，用于将服务器上所述数据文件中的数据加载至Oracle数据库。数据加载模块包括ctl文件生成单元和数据加载单元；ctl文件生成单元，用于生成加载数据文件用的ctl文件，其中ctl文件根据表名使用的字段生成；数据加载单元，用于根据数据文件和ctl文件，使用sqlldr将数据文件中的数据加载至Oracle数据库。
在本说明书的描述中，参考术语“实施例一”、“实施例二”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体方法、装置或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、方法、装置或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种实现大数据同步的方法，其特征在于，包括如下步骤：
步骤S1，Oracle数据库将需要同步数据的表的表名以及表中的字段名列发送给Hadoop集群；
步骤S2，Hadoop集群根据接收到的表名和字段名列生成同步表，并根据所述同步表加载需要同步的数据至所述同步表中，生成数据文件，并将所述数据文件导出到与所述Oracle数据库对应的服务器上；
步骤S3，Oracle数据库将服务器上所述数据文件中的数据加载至Oracle数据库。
2.根据权利要求1所述的实现大数据同步的方法，其特征在于，步骤S1包括如下步骤：
步骤S11，Oracle数据库确定需要同步数据的表的表名；
步骤S12，根据表名从Oracle数据库中的表字段存放表中获取需要同步数据的表中的字段名列；
步骤S13，Oracle数据库将表名和字段名列发送给Hadoop集群。
3.根据权利要求1所述的实现大数据同步的方法，其特征在于，步骤S2中将所述数据文件导出到与所述Oracle数据库对应的服务器上的具体实现为：
使用hive-e或hive-s-e命令将所述数据文件导出到与所述Oracle数据库对应的服务器上。
4.根据权利要求1所述的实现大数据同步的方法，其特征在于，步骤S3包括如下步骤：
步骤S31，Oracle数据库生成加载数据文件用的ctl文件；
步骤S32，根据数据文件和ctl文件，使用sqlldr将数据文件中的数据加载至Oracle数据库。
5.根据权利要求4所述的实现大数据同步的方法，其特征在于，所述ctl文件根据表名使用的字段生成。
6.一种实现大数据同步的系统，其特征在于，包括Oracle数据库和Hadoop集群，其中Oracle数据库包括表名和字段名列发送模块和数据加载模块，Hadoop集群包括数据文件生成模块；
所述表名和字段名列发送模块，用于将需要同步数据的表的表名以及表中的字段名列发送给Hadoop集群中的所述数据文件生成模块；
所述数据文件生成模块，用于根据接收到的表名和字段名列生成同步表，并根据所述同步表加载需要同步的数据至所述同步表中，生成数据文件，并将所述数据文件导出到与所述Oracle数据库对应的服务器上；
所述数据加载模块，用于将服务器上所述数据文件中的数据加载至Oracle数据库。
7.根据权利要求6所述的实现大数据同步的系统，其特征在于，所述表名和字段名列发送模块包括表名确定单元、字段名列获取单元和发送单元；
所述表名确定单元，用于确定需要同步数据的表的表名；
所述字段名列获取单元，用于根据表名从Oracle数据库中的表字段存放表中获取需要同步数据的表中的字段名列；
所述发送单元，用于将表名和字段名列发送给Hadoop集群中的所述数据文件生成模块。
8.根据权利要求6所述的实现大数据同步的系统，其特征在于，所述数据文件生成模块中将所述数据文件导出到与所述Oracle数据库对应的服务器上的具体实现为：
使用hive-e或hive-s-e命令将所述数据文件导出到与所述Oracle数据库对应的服务器上。
9.根据权利要求6所述的实现大数据同步的系统，其特征在于，所述数据加载模块包括ctl文件生成单元和数据加载单元；
所述ctl文件生成单元，用于生成加载数据文件用的ctl文件；
所述数据加载单元，用于根据数据文件和ctl文件，使用sqlldr将数据文件中的数据加载至Oracle数据库。
10.根据权利要求9所述的实现大数据同步的系统，其特征在于，所述ctl文件根据表名使用的字段生成。
CN201610228344.7A 2016-04-13 2016-04-13 一种实现大数据同步的方法和系统 Active CN105847378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610228344.7A CN105847378B (zh) 2016-04-13 2016-04-13 一种实现大数据同步的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610228344.7A CN105847378B (zh) 2016-04-13 2016-04-13 一种实现大数据同步的方法和系统

Publications (2)

Publication Number Publication Date
CN105847378A true CN105847378A (zh) 2016-08-10
CN105847378B CN105847378B (zh) 2019-06-28

Family

ID=56598061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610228344.7A Active CN105847378B (zh) 2016-04-13 2016-04-13 一种实现大数据同步的方法和系统

Country Status (1)

Country Link
CN (1) CN105847378B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503158A (zh) * 2016-10-31 2017-03-15 深圳中兴网信科技有限公司 数据同步方法及装置
CN106874389A (zh) * 2017-01-11 2017-06-20 腾讯科技（深圳）有限公司 数据的迁移方法和装置
CN107463692A (zh) * 2017-08-11 2017-12-12 山东合天智汇信息技术有限公司 超大文本数据同步到搜索引擎的方法和系统
CN107943979A (zh) * 2017-11-29 2018-04-20 山东鲁能软件技术有限公司 一种数据库之间数据的准实时同步方法及装置
CN110222122A (zh) * 2019-07-26 2019-09-10 深圳市元征科技股份有限公司 一种MongoDB的数据同步方法及相关设备
CN111711639A (zh) * 2020-06-29 2020-09-25 深圳前海微众银行股份有限公司 终端、数据传输方法、系统、和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202073A (zh) * 2010-03-24 2011-09-28 杭州华三通信技术有限公司 一种分布式系统及其数据同步方法
CN102752372A (zh) * 2012-06-18 2012-10-24 天津神舟通用数据技术有限公司 一种基于文件的数据库同步方法
CN104317836A (zh) * 2014-10-10 2015-01-28 山东中创软件工程股份有限公司 批量生成数据文件的方法及装置
CN104348793A (zh) * 2013-07-30 2015-02-11 阿里巴巴集团控股有限公司 存储服务器系统及数据信息的存储方法
CN104778175A (zh) * 2014-01-13 2015-07-15 世纪禾光科技发展（北京）有限公司 一种实现异构数据库数据同步的方法及系统
CN105069128A (zh) * 2015-08-14 2015-11-18 北京京东尚科信息技术有限公司 数据同步方法和装置
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202073A (zh) * 2010-03-24 2011-09-28 杭州华三通信技术有限公司 一种分布式系统及其数据同步方法
CN102752372A (zh) * 2012-06-18 2012-10-24 天津神舟通用数据技术有限公司 一种基于文件的数据库同步方法
CN104348793A (zh) * 2013-07-30 2015-02-11 阿里巴巴集团控股有限公司 存储服务器系统及数据信息的存储方法
CN104778175A (zh) * 2014-01-13 2015-07-15 世纪禾光科技发展（北京）有限公司 一种实现异构数据库数据同步的方法及系统
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置
CN104317836A (zh) * 2014-10-10 2015-01-28 山东中创软件工程股份有限公司 批量生成数据文件的方法及装置
CN105069128A (zh) * 2015-08-14 2015-11-18 北京京东尚科信息技术有限公司 数据同步方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHRIKANTH SHANKAR，ALAN CHOI，JEAN-PIERRE DIJCKS: "《通过 Oracle 并行处理集成 Hadoop 数据》", 31 January 2010 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503158A (zh) * 2016-10-31 2017-03-15 深圳中兴网信科技有限公司 数据同步方法及装置
CN106503158B (zh) * 2016-10-31 2019-12-10 深圳中兴网信科技有限公司 数据同步方法及装置
CN106874389A (zh) * 2017-01-11 2017-06-20 腾讯科技（深圳）有限公司 数据的迁移方法和装置
CN107463692A (zh) * 2017-08-11 2017-12-12 山东合天智汇信息技术有限公司 超大文本数据同步到搜索引擎的方法和系统
CN107463692B (zh) * 2017-08-11 2019-10-18 山东合天智汇信息技术有限公司 超大文本数据同步到搜索引擎的方法和系统
CN107943979A (zh) * 2017-11-29 2018-04-20 山东鲁能软件技术有限公司 一种数据库之间数据的准实时同步方法及装置
CN110222122A (zh) * 2019-07-26 2019-09-10 深圳市元征科技股份有限公司 一种MongoDB的数据同步方法及相关设备
CN111711639A (zh) * 2020-06-29 2020-09-25 深圳前海微众银行股份有限公司 终端、数据传输方法、系统、和计算机可读存储介质
CN111711639B (zh) * 2020-06-29 2023-04-18 深圳前海微众银行股份有限公司 终端、数据传输方法、系统、和计算机可读存储介质

Also Published As

Publication number Publication date
CN105847378B (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN105847378A (zh) 一种实现大数据同步的方法和系统
CN109063196B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN110309161B (zh) 一种数据同步方法、装置及服务器
CN104699541A (zh) 同步数据的方法、装置、数据传输组件及系统
CN104408132A (zh) 数据推送方法和系统
CN107515933A (zh) 修改源数据库表结构的方法、服务器、系统及存储介质
CN105407138B (zh) 配置文件加载方法及装置、通信设备
CN109547514A (zh) 一种任务处理方法、装置、电子设备及存储介质
CN104778175A (zh) 一种实现异构数据库数据同步的方法及系统
CN104765840A (zh) 一种大数据分布式存储的方法和装置
CN105208060A (zh) 业务数据同步方法、装置及系统
CN106250226A (zh) 基于一致性哈希算法的任务调度机制及系统
CN104794190A (zh) 一种大数据有效存储的方法和装置
CN110413702A (zh) 异构数据库内外网同步方法、装置及系统
CN105721582A (zh) 多节点文件备份系统
CN104750855A (zh) 一种大数据存储优化方法和装置
CN105959420A (zh) 多客户端元数据同步更新方法及系统
CN103412780A (zh) 一种对分布式文件系统进行升级的系统、装置及方法
CN106202082A (zh) 组装基础数据缓存的方法及装置
WO2019062019A1 (zh) 一种数据列表的导出方法及其终端
CN110019539A (zh) 一种数据仓库的数据同步的方法和装置
CN103532786A (zh) 一种服务器同步检测器及同步检测方法和系统
CN110442564A (zh) 增量数据校验方法、存储介质
CN104113594A (zh) 一种基于js上传组件的文件上传方法及系统
CN104333578A (zh) 一种分布式数据交换系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant