CN104506638A - 多数据中心数据同步方法 - Google Patents
多数据中心数据同步方法 Download PDFInfo
- Publication number
- CN104506638A CN104506638A CN201410838529.0A CN201410838529A CN104506638A CN 104506638 A CN104506638 A CN 104506638A CN 201410838529 A CN201410838529 A CN 201410838529A CN 104506638 A CN104506638 A CN 104506638A
- Authority
- CN
- China
- Prior art keywords
- file
- complete
- data
- file transfer
- transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种多数据中心数据同步方法,属于数据同步领域,本发明包括查询数据文件是否存在的步骤、传输文件的步骤和在文件传输时对传输进度进行监控的步骤。本发明能够对多数据中心的镜像模板提高自动化控制,实现自动同步功能和文件传输。
Description
技术领域
本发明属于数据同步领域,特别是涉及一种多数据中心数据同步方法。
背景技术
随着信息技术和网络技术的发展,分布式数据库和分布式信息系统得到越来越广泛的应用,各个分布数据库和应用系统问的数据同步问题也随之凸现。现有的多数据中心模板和快照系统不能在不同的节点进行数据文件的传输、不能提供多向的文件传输(即本地到远程、远程到bending、远程对远程之间的文件资源传输)、不支持断点续传的功能,同时现有技术还存在同步和共享过程中工作人员手动操作频繁,工作效率低下的问题,因此,急需提供一种解决现有技术问题的多数据中心模板和快照同步方法。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种能够对多数据中心的镜像模板提高自动化控制,实现自动同步功能和文件传输的多数据中心数据同步方法。
为实现上述目的,本发明提供了一种多数据中心数据同步方法,包括查询数据文件是否存在的步骤、传输文件的步骤和在文件传输时对传输进度进行监控的步骤;
所述查询数据文件是否存在的步骤按以下方法实现:
通过JSch对象目标连接到目的服务器,通过执行Shell查询命令查询目的服务器该文件是否存在;
如果数据文件存在,检查该数据文件的MD5值,通过检查该数据文件在目标服务器和本地数据中心的MD5值是否匹配,获得文件是否完整的信息;
所述传输文件的步骤按以下方法实现:
A1、获取传输命令信息;
A2、创建传输线程;
A3、根据目标服务器的IP地址创建ChannelSftp实例对象;
A4、设置传输模式和文件监控;
A5、将目标文件名加临时文件后缀,启动传输;
A6、将传输完成的文件名改成正确名称;
所述在文件传输时对传输进度进行监控的步骤按以下方法实现:
检查文件传输是否完毕,当文件传输完毕时,更新任务状态后结束;当文件传输未完毕时,更新传输任务表中最新进度后继续检查文件传输是否完毕,直到文件传输完毕。
较佳的,所述步骤检查文件传输是否完毕通过JSch提供的SftpProgressMonitor接口来检查文件传输是否完毕。
本发明的有益效果是:本发明能够对多数据中心的镜像模板提高自动化控制,实现自动同步功能和文件传输。
具体实施方式
下面结合实施例对本发明作进一步说明:
一种多数据中心数据同步方法,包括查询数据文件是否存在的步骤、传输文件的步骤和在文件传输时对传输进度进行监控的步骤;
所述查询数据文件是否存在的步骤按以下方法实现:
通过JSch对象目标连接到目的服务器,通过执行Shell查询命令查询目的服务器该文件是否存在;
如果数据文件存在,检查该数据文件的MD5值,通过检查该数据文件在目标服务器和本地数据中心的MD5值是否匹配,获得文件是否完整的信息;
所述传输文件的步骤按以下方法实现:
A1、获取传输命令信息;
A2、创建传输线程;
A3、根据目标服务器的IP地址创建ChannelSftp实例对象;
A4、设置传输模式和文件监控;
A5、将目标文件名加临时文件后缀,启动传输;
A6、将传输完成的文件名改成正确名称;
所述在文件传输时对传输进度进行监控的步骤按以下方法实现:
检查文件传输是否完毕,当文件传输完毕时,更新任务状态后结束;当文件传输未完毕时,更新传输任务表中最新进度后继续检查文件传输是否完毕,直到文件传输完毕。
本实施例中,所述步骤检查文件传输是否完毕通过JSch提供的SftpProgressMonitor接口来检查文件传输是否完毕。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (2)
1.一种多数据中心数据同步方法,其特征在于包括查询数据文件是否存在的步骤、传输文件的步骤和在文件传输时对传输进度进行监控的步骤;
所述查询数据文件是否存在的步骤按以下方法实现:
通过JSch对象目标连接到目的服务器,通过执行Shell查询命令查询目的服务器该文件是否存在;
如果数据文件存在,检查该数据文件的MD5值,通过检查该数据文件在目标服务器和本地数据中心的MD5值是否匹配,获得文件是否完整的信息;
所述传输文件的步骤按以下方法实现:
A1、获取传输命令信息;
A2、创建传输线程;
A3、根据目标服务器的IP地址创建ChannelSftp实例对象;
A4、设置传输模式和文件监控;
A5、将目标文件名加临时文件后缀,启动传输;
A6、将传输完成的文件名改成正确名称;
所述在文件传输时对传输进度进行监控的步骤按以下方法实现:
检查文件传输是否完毕,当文件传输完毕时,更新任务状态后结束;当文件传输未完毕时,更新传输任务表中最新进度后继续检查文件传输是否完毕,直到文件传输完毕。
2.如权利要求1所述的多数据中心数据同步方法,其特征是:所述步骤检查文件传输是否完毕通过JSch提供的SftpProgressMonitor接口来检查文件传输是否完毕。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410838529.0A CN104506638A (zh) | 2014-12-30 | 2014-12-30 | 多数据中心数据同步方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410838529.0A CN104506638A (zh) | 2014-12-30 | 2014-12-30 | 多数据中心数据同步方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104506638A true CN104506638A (zh) | 2015-04-08 |
Family
ID=52948353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410838529.0A Pending CN104506638A (zh) | 2014-12-30 | 2014-12-30 | 多数据中心数据同步方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104506638A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114513502A (zh) * | 2022-02-16 | 2022-05-17 | 中银金融科技有限公司 | 文件处理方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040054800A1 (en) * | 2002-08-28 | 2004-03-18 | Samir Shah | Content synchronization frameworks using dynamic attributes and file bundles for connected devices |
CN103853748A (zh) * | 2012-11-29 | 2014-06-11 | 天津书生投资有限公司 | 一种数据库同步方法 |
CN103875229A (zh) * | 2013-12-02 | 2014-06-18 | 华为技术有限公司 | 异步复制方法、装置与系统 |
CN104243527A (zh) * | 2013-06-20 | 2014-12-24 | 华为技术有限公司 | 数据同步方法、数据同步装置及分布式系统 |
-
2014
- 2014-12-30 CN CN201410838529.0A patent/CN104506638A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040054800A1 (en) * | 2002-08-28 | 2004-03-18 | Samir Shah | Content synchronization frameworks using dynamic attributes and file bundles for connected devices |
CN103853748A (zh) * | 2012-11-29 | 2014-06-11 | 天津书生投资有限公司 | 一种数据库同步方法 |
CN104243527A (zh) * | 2013-06-20 | 2014-12-24 | 华为技术有限公司 | 数据同步方法、数据同步装置及分布式系统 |
CN103875229A (zh) * | 2013-12-02 | 2014-06-18 | 华为技术有限公司 | 异步复制方法、装置与系统 |
Non-Patent Citations (2)
Title |
---|
LONGYG: "JSch - Java实现的SFTP(文件上传详解篇)", 《HTTP://WWW.CNBLOGS.COM/LONGYG/ARCHIVE/2012/06/25/2556576.HTML》 * |
王开煊: "多数据中心非结构化数据复制方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114513502A (zh) * | 2022-02-16 | 2022-05-17 | 中银金融科技有限公司 | 文件处理方法、装置、电子设备及存储介质 |
CN114513502B (zh) * | 2022-02-16 | 2024-01-26 | 中银金融科技有限公司 | 文件处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102637214B (zh) | 基于数据库服务间的通用数据同步方法及其系统 | |
US20150026125A1 (en) | System and method for synchronizing data between communication devices in a networked environment without a central server | |
CN103139157B (zh) | 一种基于socket的网络通信方法、装置及系统 | |
CN104239476A (zh) | 一种数据库同步的方法、装置及系统 | |
JP2006526932A5 (zh) | ||
CN104486319A (zh) | 适用于高可用系统的配置文件实时同步方法及其系统 | |
CN102523118A (zh) | 一种局域网内多套控制计算机构成的冗余控制系统与方法 | |
CN105579983A (zh) | 提供对等系统标识的基板管理控制器 | |
CN109660391B (zh) | 一种池化服务器系统固件升级方法、系统及相关装置 | |
CN103905441A (zh) | 数据获取方法及装置 | |
CN103731465A (zh) | 分布式系统及其事务处理方法 | |
CN105430026A (zh) | 基于多种控制策略的云盘数据同步方法 | |
CN105306581A (zh) | 一种基于路由器和云盘数据同步的方法 | |
CN107656796B (zh) | 一种虚拟机冷迁移方法、系统及设备 | |
CN110896363B (zh) | 实现iec61850智能装置即插即用的接入配置方法 | |
CN105607606A (zh) | 一种基于双主板架构的数据采集装置及方法 | |
CN109299116B (zh) | 一种数据同步方法、装置、设备及可读存储介质 | |
CN104270455A (zh) | 一种数据传输方法、装置及系统 | |
CN105323271B (zh) | 一种云计算系统以及云计算系统的处理方法和装置 | |
WO2016161938A1 (zh) | 一种基带处理单元的单板复位方法、装置及设备 | |
CN104506638A (zh) | 多数据中心数据同步方法 | |
JP2006209490A (ja) | 設定情報同期プログラム | |
CN107273047B (zh) | 一种缓存管理方法、缓存管理器及存储管理软件 | |
CN107766066B (zh) | 一种更新从属模块固件的方法 | |
CN108650320B (zh) | 一种集群环境下同构级联设备配置文件同步方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150408 |
|
RJ01 | Rejection of invention patent application after publication |